为了训练强大的深神经网络（DNNS），我们系统地研究了几种目标修饰方法，其中包括输出正则化，自我和非自动标签校正（LC）。发现了三个关键问题：（1）自我LC是最吸引人的，因为它利用了自己的知识，不需要额外的模型。但是，在文献中，如何自动确定学习者的信任程度并没有很好地回答。 （2）一些方法会受到惩罚，而另一些方法奖励低渗透预测，促使我们询问哪一种更好。 （3）使用标准训练设置，当存在严重的噪音时，受过训练的网络的信心较低，因此很难利用其高渗透自我知识。为了解决问题（1），采取两个良好接受的命题 - 深度神经网络在拟合噪声和最小熵正则原理之前学习有意义的模式 - 我们提出了一种名为Proselflc的新颖的端到端方法，该方法是根据根据学习时间和熵。具体而言，给定数据点，如果对模型进行了足够的时间训练，并且预测的熵较低（置信度很高），则我们逐渐增加对预测标签分布的信任与其注释的信任。根据ProSelfLC的说法，对于（2），我们从经验上证明，最好重新定义有意义的低渗透状态并优化学习者对其进行优化。这是防御熵最小化的防御。为了解决该问题（3），我们在利用低温以纠正标签之前使用低温降低了自我知识的熵，因此修订后的标签重新定义了低渗透目标状态。我们通过在清洁和嘈杂的环境以及图像和蛋白质数据集中进行广泛的实验来证明ProSelfLC的有效性。此外，我们的源代码可在https://github.com/xinshaoamoswang/proselflc-at上获得。
translated by 谷歌翻译